SPRI: Inicialización residual SVD para upcycling de MoE con datos escasos
Descubre SPRI: método para upcycling de MoE con datos limitados que mejora BLEU en 2.58 puntos en traducción automática.
#inicialización residual
SPRI: Inicialización Residual con SVD para Reciclaje MoE con datos limitados
Descubre cómo SPRI mejora el reciclaje de modelos densos a MoE con datos limitados, logrando ganancias de BLEU y COMET en traducción multilingüe de voz.